Мировой опыт по внедрению Talend ESB - KT.Team

Мировой опыт по внедрению Talend

Управляемые интеграции с WSO2 ESB

Talend ESB — программное обеспечение с набором правил и принципов, позволяющее осуществлять обмен сообщениями между информационными системами и приложениями с настройкой маршрутизации через единую точку.

Отраслевые решения на Talend

Внедрение Talend ESB в банковском секторе - KT.Team

Банковская сфера

Модернизация банковской системы при помощи интеграции сервисной шины ESB

Landesbank Berlin — немецкий международный универсальный банк, предоставляет услуги по четырём направлениям: private banking (персональное банковское VIP-обслуживание), корпоративный банкинг, финансирование коммерческой недвижимости и выборочная деятельность на рынке капитала. Банк ежегодно обслуживает около двух млн розничных клиентов и около 69 тыс. корпоративных клиентов из более чем 200 филиалов.

Проблема

Устаревание IT-системы банка

Чтобы справиться с постоянно растущими объёмами данных по счетам, Landesbank Berlin решил модернизировать свою базовую банковскую систему. Однако внедрение новой системы требовало тщательной предварительной подготовки, и в случае неудачной попытки перехода существовал риск закрытия банка.
Landesbank является членом группы национальных сберегательных банков Германии, и его бизнес-процессы тесно связаны с центральным провайдером информационных технологий Finanz Informatik (сокр. FI), который использует современную банковскую систему — OSPlus. Сложность обновления системы заключалась ещё и в том, что для интеграции собственных банковских приложений с данными о клиентах, адресах, доходах и счетах Landesbank Berlin необходимо было создать новый интерфейс параллельно с развёртыванием OSPlus.
Также необходимо было принять во внимание, что поступающие данные приходят в разных форматах, и для их дальнейшей передачи специалистам из разных отделов, принимающих документы каждый в своём формате, нужно конвертировать эти данные в запрашиваемые форматы. Предыдущая интеграционная платформа, которой пользовался банк, не справлялась с обработкой большого потока данных, а переход на новую систему требовал нескольких этапов, что только увеличивало время.

Решение

Оптимизация процессов по передаче информации

Интеграция Talend ESB помогла оптимизировать процессы по передаче информации. Теперь при запуске бизнес-процесса в банковской системе OSPlus данные передаются в другие приложения через сервисную шину Talend ESB. Большинство интерфейсов запрограммированы на работу по событиям, и только некоторые из них «запланированы» заранее.
Для обеспечения прозрачности процессов внутри компании на базе Talend ESB был создан специальный портал TMF (сокр. от англ. Tools & Methods Framework), осуществляющий мониторинг работы по управлению ошибками.

Внедрение Talend ESB в e-commerce компанию - KT.Team

E-commerce

Упрощение интеграций в инфраструктуре интернет-магазина при помощи ESB

Otto Group — немецкий интернет-магазин, крупнейший в Европе в сегменте посылочной торговли с более чем 2,8 млн позиций товаров и 6800 брендами одежды для всей семьи. Ежегодно обрабатывает около 7 млн онлайн-заказов и до десяти новых заказов в секунду в пиковые дни.

Проблема

Запутанность IT-ландшафта проекта

Существующая IT-архитектура интернет-магазина состояла из базы данных Teradata и большого количества островов данных. Сложность архитектуры также заключалась в том, что некоторые острова данных использовали SQL, а другие — PL/SQL, Oracle и Perl-скрипты. Так, чтобы определить, какое рекламное предложение будет наиболее подходящим для клиентов, компании приходилось преобразовывать огромные массивы данных, а информационная система нуждалась в едином инструменте интеграции.
Кроме того, проект имел множество интеграционных скриптов, которые было очень сложно поддерживать, т. к. разработчиков, изначально писавших код, уже не было в штате.

Решение

Data Lake, связанный с системами компании через Talend

Компания Otto решила создать новое озеро данных с нуля и использовать Talend как мост между новым озером данных, в котором хранятся данные интернет-магазина и партнёрских веб-сайтов, и базой данных Exasol объёмом 250 Тбайт.Также ПО Talend дало возможность использовать в разработке собственный CI/CD-процесс. Применение Talend позволило непрерывно интегрировать источники данных, разрабатывать и поставлять новые обновления и приложения, создавать тестовые среды для запуска нового ПО. Всё это способствовало повышению скорости разработки и скорости исправления проблем на проекте и в целом помогло снизить риски, связанные с новой разработкой и интеграциями.Так, если в систему приходит запрос от клиента на удаление своих данных из системы Otto, это уже не занимает много времени, поскольку больше нет необходимости в длительных поисках по всем базам данных. Благодаря Talend стал возможным быстрый обмен данными с их источниками, что упростило процесс удаления данных из Exasol и озера данных Cloudera.

Внедрение Talend ESB в компанию фармацевтической отрасли - KT.Team

Фармацевтическая отрасль

Автоматизация процессов, обработка и хранение всех данных в единой системе с помощью сервисной шины предприятия ESB

Bayer AG — немецкая химико-фармацевтическая транснациональная корпорация с более чем 150-летней историей и ключевой компетенцией в области здравоохранения в мире.

Проблема

Устаревшая информационная система с ручной обработкой данных

Bayer постоянно проводит исследование и тестирование новых лекарств с целью выявления их эффективности и безопасности для дальнейшего вывода на рынок. Этот процесс требует накопления, анализа и хранения огромного объёма клинических данных, поступающих от пациентов и добровольцев. Данные также собираются из лабораторий и электронных устройств. Вся информация автоматически анонимизируется в точке сбора.
Прежняя информационная система устарела и не справлялась с нагрузкой и постоянно растущим потоком данных, к тому же некоторые процессы не были автоматизированы, операции обрабатывались вручную, что зачастую приводило к возникновению ошибок, вызванных человеческим фактором.

Решение

Микросервисная IT-архитектура

Вместо поддержки старой системы компания Bayer приняла решение полностью изменить среду и архитектуру инфраструктуры. Bayer провела «хакатон», во время которого тщательно протестировала Talend и пришла к выводу, что он лучше всего подходит для непрерывного совершенствования системы, учитывая его принципы гибкости и возможность поддержки микросервисной архитектуры.
Шина Talend ESB стала выступать промежуточным ПО, которое соединяет репозитории и при этом скрыто от глаз пользователей. Данные поступают в локальное озеро данных Oracle, для проведения расширенной аналитики компания подключается к системе SAS и использует Oracle Life Sciences Data Hub для хранения данных о клинических исследованиях лекарств и препаратов.
Сервисная шина Talend ESB позволила быстро и в соответствии с требованиями добавлять новые функции, сделать получаемые данные более качественными и повысить скорость их обработки. Также преимуществом Talend для компании стала возможность отслеживать всё, что происходит с данными, включая то, откуда они поступают и куда направляются.

YouTube

Собрали все грабли в интеграциях,
чтобы не собирали
вы

Смотреть все

Кейсы внедрения ESB–систем

Смотреть все

Смотреть все

Пишем статьи для своего блога и для профильных изданий

Читать больше

Всегда ли нужен брокер сообщений?

Подробнее

«Точка-точка», брокер, ESB: какие интеграции помогут построить слабо связанную ИТ-архитектуру

Подробнее

Свойства гибкой и масштабируемой ИТ-инфраструктуры: ликбез по базовым концепциям и основные критерии оценки

Подробнее

Смотреть все

Калькулятор проекта

Стоимость разработки
5 775 000 рублей
Команда разработает за
6 недель
Включено в расчет
Cross or Plus Icon
  • Подготовка карты систем и потоков данных (SOA схема);
  • Проработаем обмены по ключевым сущностям;
  • Создание коннекторов для обмена данными по каждому потоку на 3 стендах (тест, препрод, прод);
  • Настройка до трех дашбордов на один коннектор внутри готового контура мониторинга;
  • Документация по копированию интеграции, переиспользованию, обслуживанию;
  • Демонстрация реализованного функционала.
Дополнительные работы
Cross or Plus Icon
  • Подготовка инфраструктуры для работы коннекторов;
  • Настройка контура мониторинга и логирования;
  • Создание коннекторов (хранилище - получатель) для обмена данными по каждому высоконагруженному потоку (>100 сообщений в минуту) на 3 стендах (тест, препрод, прод);
  • Свыше 15 атрибутов для каждого потока;
  • Стоимость вычислительных ресурсов (только для подписки);
Сколько потоков системы будут отправлять

Пример: «Система управления товарами» будет отправлять данные о товарах. «Система управления заказами» — о заказах. «Система управления складом» — о статусе отгрузки. Это 3 потока.

0
0
100

Пример: «Система управления складом» будет принимать данные о товарах и заказах. «Система управления заказами» — о товарах и статусе отгрузки. Это 4 потока.

Сколько потоков системы будут принимать
0
0
100
Обсудить проект

Калькулятор считает по точной, но упрощенной формуле. Состав работ по вашему проекту и конечная стоимость могут отличаться. Итоговый расчет сделает ваш персональный менеджер.

Обсудить проект

Калькулятор считает по точной, но упрощенной формуле. Состав работ по вашему проекту и конечная стоимость могут отличаться. Итоговый расчет сделает ваш персональный менеджер.

1

Пример расчета

Узнать больше о возможностях Mule ESB — KT.Team
Создание и размещение сервисов на Mule ESB — KT.Team

Для передачи данных между системами мы создаем "поток". Одни потоки нужны для отправки данных, другие - для получения. В отдельном потоке могут передаваться заказы, товары или другие сущности.

Для примера на схеме:
1. «Система управления товарами» отправляет товары. «Система управления складом» — факт отгрузки заказа. «Система управления заказами» — заказы. Итого системы будут отправлять 3 потока;

2. «Система управления складом» принимает товары и заказы. «Система управления заказами» — товары и факт отгрузки заказа. Итого системы будут принимать 4 потока.

2

Состав работ в калькуляторе

Узнать больше о возможностях Mule ESB — KT.Team

Включено в расчет

Дополнительно

Подготовка карты систем и потоков данных (SOA схема)

Подготовка инфраструктуры для работы коннекторов

Проработка логики объекта (схема бизнес-процесса коннектора)

Настройка контура мониторинга и логирования

Создание коннекторов для обмена данными по каждому потоку на 3 стендах (тест, препрод, прод)

Создание коннекторов (хранилище - получатель) для обмена данными по каждому высоконагруженному потоку (>100 сообщений в минуту) на 3 стендах (тест, препрод, прод)

Настройка до трех дашбордов на один коннектор внутри готового контура мониторинга

Свыше 15 атрибутов для каждого потока

Документация по копированию интеграции, переиспользованию, обслуживанию

Демонстрация реализованного функционала

Включено в расчет

Подготовка карты систем и потоков данных (SOA схема)

Проработка логики объекта (схема бизнес-процесса коннектора)

Создание коннекторов (источник - хранилище, хранилище - получатель) для обмена данными по каждому объекту на 3 стендах (тест, препрод, прод)

Настройка до трех дашбордов на один коннектор внутри готового контура мониторинга

Свыше 15 атрибутов для каждого объекта

Дополнительно

Подготовка инфраструктуры для работы коннекторов

Настройка контура мониторинга и логирования

Создание коннекторов (хранилище - получатель) для обмена данными по каждому высоконагруженному объекту (>100 сообщений в минуту) на 3 стендах (тест, препрод, прод)

Свыше 15 атрибутов для каждого объекта

Мы используем файлы cookie, чтобы предоставить наилучшие возможности сайта

Ок
Заходите в наш бот за оперативной консультацией и полезной информацией